深度神经网络(DNN)已在脑病变检测和分割中广泛采用。但是,在2D MRI切片中定位小病变是具有挑战性的,需要在3D上下文聚集的粒度和计算复杂性之间取得平衡。在本文中,我们提出了一种新型的视角变压器,以增强MRI特征的提取,以进行更准确的肿瘤检测。首先,所提出的变压器在3D脑扫描中收获了不同位置之间的远程相关性。其次,变压器将一堆切片功能堆叠为多个2D视图,并增强这些特征的视图,该功能大致以有效的方式实现了3D相关计算。第三,我们将提出的变压器模块部署在变压器主链中,该模块可以有效地检测到脑损伤周围的2D区域。实验结果表明,我们提出的观看式变压器在具有挑战性的大脑MRI数据集上对大脑病变检测表现良好。
translated by 谷歌翻译
基于图像补丁重建的自我监督学习方法在培训自动编码器方面取得了巨大的成功,其预训练的权重可以转移到微调图像理解的其他下游任务。但是,现有方法很少研究重建斑块的各种重要性和解剖结构的对称性,当它们应用于3D医学图像时。在本文中,我们提出了一种基于3D脑MRI分割任务的视觉变压器(VIT)的新颖的对称自动编码器(ASA)。我们猜想,强迫自动编码器恢复信息性图像区域可以收获更多的判别性表示,而不是恢复光滑的图像贴片。然后,我们采用基于梯度的指标来估计每个图像补丁的重要性。在预训练阶段,提议的自动编码器更多地注意根据梯度指标重建信息贴片。此外,我们求助于大脑结构的先验,并开发一种对称位置编码(SPE)方法,以更好地利用远距离但空间对称区域之间的相关性以获得有效的特征。实验结果表明,我们提出的细心对称自动编码器的表现优于三个大脑MRI分割基准的最先进的自我监督学习方法和医学图像分割模型。
translated by 谷歌翻译
Aleatoric不确定性量化寻求对随机响应的分配知识,这对于机器学习应用中的可靠性分析和鲁棒性改善非常重要。先前对息肉不确定性估计的研究主要针对封闭形成的条件密度或方差,这需要对数据分布或维度的强大限制。为了克服这些限制,我们研究了有条件的生成模型,以估计不确定性。我们介绍了两个指标,以测量适合这些模型的两个条件分布之间的差异。这两个指标都可以通过对条件生成模型的蒙特卡洛模拟轻松而公正地计算,从而促进其评估和培训。我们以数字方式证明了我们的指标如何提供有条件分布差异的正确度量,并可用于训练有条件的模型与现有基准有竞争力。
translated by 谷歌翻译
自动识别基础心脏异常的结构底物可以潜在地为介入程序提供实时指导。有了心脏组织底物的了解,可以通过检测心律不齐的底物来进一步优化复杂的心律不齐和心室心动过速等复杂的心律不齐和心室心动过速。光学相干断层扫描(OCT)是一种实时成像方式,有助于满足这一需求。心脏图像分析的现有方法主要依赖于完全监督的学习技术,这些技术遇到了在像素标签的劳动密集型注释过程中工作量的缺点。为了减少对像素标签的需求,我们使用人类心脏底物的OCT图像上的图像级注释开发了一个两阶段的深度学习框架,用于心脏脂肪组织分割。特别是,我们将类激活映射与超像素分割整合在一起,以解决心脏组织分割中提出的稀疏组织种子挑战。我们的研究弥合了自动组织分析的需求与缺乏高质量像素的注释之间的差距。据我们所知,这是第一项尝试通过弱监督的学习技术来解决OCT图像上心脏组织分割的研究。在体外人类心脏OCT数据集中,我们证明了我们对图像级注释的弱监督方法可与对像素式注释进行训练的完全监督方法相当。
translated by 谷歌翻译
在本文中,我们使第一个基准测试精力阐述在低光增强中使用原始图像的优越性,并开发一种以更灵活和实用的方式利用原始图像的新颖替代路线。通过对典型图像处理管道进行充分考虑的启发,我们受到启发,开发了一种新的评估框架,分解增强模型(FEM),它将原始图像的属性分解成可测量的因素,并提供了探索原始图像属性的工具凭经验影响增强性能。经验基金基准结果表明,在元数据中记录的数据和曝光时间的线性起作用最关键的作用,这在将SRGB图像作为输入中的方法采取各种措施中提出了不同的性能增益。通过从基准测试结果中获得的洞察力,开发了一种原始曝光增强网络(REENET),这在实际应用中的实际应用中的优缺点与仅在原始图像中的原始应用中的优点和可接近之间的权衡培训阶段。 Reenet将SRGB图像投影到线性原域中,以应用相应的原始图像的约束,以减少建模培训的难度。之后,在测试阶段,我们的reenet不依赖于原始图像。实验结果不仅展示了Reenet到最先进的SRGB的方法以及原始指导和所有组件的有效性。
translated by 谷歌翻译
Recently deep neural networks, which require a large amount of annotated samples, have been widely applied in nuclei instance segmentation of H\&E stained pathology images. However, it is inefficient and unnecessary to label all pixels for a dataset of nuclei images which usually contain similar and redundant patterns. Although unsupervised and semi-supervised learning methods have been studied for nuclei segmentation, very few works have delved into the selective labeling of samples to reduce the workload of annotation. Thus, in this paper, we propose a novel full nuclei segmentation framework that chooses only a few image patches to be annotated, augments the training set from the selected samples, and achieves nuclei segmentation in a semi-supervised manner. In the proposed framework, we first develop a novel consistency-based patch selection method to determine which image patches are the most beneficial to the training. Then we introduce a conditional single-image GAN with a component-wise discriminator, to synthesize more training samples. Lastly, our proposed framework trains an existing segmentation model with the above augmented samples. The experimental results show that our proposed method could obtain the same-level performance as a fully-supervised baseline by annotating less than 5% pixels on some benchmarks.
translated by 谷歌翻译
最近流行的对比学习范式提出了无监督的哈希的发展。但是,以前的基于学习的作品受到(1)基于全球图像表示的数据相似性挖掘的障碍,以及(2)由数据增强引起的哈希代码语义损失。在本文中,我们提出了一种新颖的方法,即加权的伴侣哈希(WCH),以朝着解决这两个问题迈出一步。我们介绍了一个新型的相互注意模块,以减轻由缺失的图像结构引起的网络特征中信息不对称问题的问题。此外,我们探索了图像之间的细粒语义关系,即,我们将图像分为多个斑块并计算斑块之间的相似性。反映深层图像关系的聚合加权相似性是经过蒸馏而来的,以促进哈希码以蒸馏损失的方式学习,从而获得更好的检索性能。广泛的实验表明,所提出的WCH在三个基准数据集上显着优于现有的无监督哈希方法。
translated by 谷歌翻译
最近,深度神经网络(DNNS)在现实世界图像超分辨率(SR)方面取得了重大成功。但是,具有准侵蚀噪声的对抗图像样本可能威胁到深度学习的SR模型。在本文中,我们为现实世界SR提出了一个强大的深度学习框架,该框架随机消除了输入图像或功能的频域中潜在的对抗噪声。理由是,在SR任务上,清洁图像或功能与频域中受攻击的图案不同。观察到现有的对抗攻击通常会为输入图像增加高频噪声,我们引入了一个新型的随机频率掩码模块,该模块可以以随机方式阻止可能包含有害扰动的高频组件。由于频率掩蔽不仅可能会破坏对抗性扰动,而且还会影响干净的图像中的尖锐细节,我们进一步基于图像的频域开发了对抗性样品分类器,以确定是否应用了提出的掩码模块。基于上述想法,我们设计了一个新颖的现实世界图像SR框架,该框架结合了建议的频率掩盖模块和所提出的对抗分类器与现有的超分辨率骨干网络。实验表明,我们所提出的方法对对抗性攻击更加不敏感,并且比现有模型和防御能力更稳定。
translated by 谷歌翻译
设定覆盖问题是一类重要的组合优化问题,在许多领域都广泛应用和研究了。在本文中,我们提出了一种用神经预测(CG-P)的改进的列生成算法,用于解决基于图的集合涵盖问题。我们利用基于图神经网络的神经预测模型来预测每个边缘最终解决方案中的概率。我们的CG-P算法构建了一个还原的图,该图仅包含具有较高预测概率的边缘,并且该图还原过程显着加快了解决方案过程。我们在铁路乘员计划问题上评估了CG-P算法,它的表现优于基线列的生成算法。我们为我们的CG-P算法提供了两种解决方案模式。在最佳模式下,我们可以获得具有最佳保证的解决方案,同时将时间成本降低到63.12%。在快速模式下,我们可以在仅2.91%的计算时间内获得具有7.62%最佳差距的亚最佳解决方案。
translated by 谷歌翻译
眼底摄影是诊断和监测眼部疾病的诊所的常规检查。但是,对于白内障患者,底眼图像始终会遭受由云晶状体引起的质量降解。降解阻止了眼科医生或计算机辅助系统可靠的诊断。为了提高临床诊断的确定性,已经提出了恢复算法来提高眼底图像的质量。不幸的是,这些算法的部署仍然存在挑战,例如收集足够的培训数据和保存视网膜结构。在本文中,为了规避严格的部署要求,从共享相同结构的合成数据中开发出了针对白内障底底图像的结构一致的恢复网络(SCR-NET)。白内障仿真模型首先是设计用于收集由白内障底面图像共享相同结构的合成性白内障集(SC)的。然后从SCS中提取高频组件(HFC)以约束结构一致性,从而强制执行SCR-NET中的结构保留。该实验证明了SCR-NET与最新方法和后续临床应用的比较中的有效性。该代码可从https://github.com/liamheng/arcnet-medical-image-enhancement获得。
translated by 谷歌翻译